---
title: "Modelos Globales con Modeltime"
author: "Alberto Almuiña"
date: '2021-08-02T02:13:14-05:00'
description: Una introducción a los modelos globales con modeltime
slug: modelos-globales
tags:
- modeltime
categories:
- Time Series
---
Modeltime 📈 y Modelos Globales 🌏
Modeltime es un paquete enfocado a series temporales que ha decidido apostar por los modelos globales como estrategia principal para afrontar los nuevos retos de escalabilidad que han venido surgiendo en los últimos años. El número de series temporales ha aumentado de manera exponencial: las organizaciones cada vez disponen de más información a su alcance y a un nivel más desagregado*. Desafortunadamente, las aproximaciones tradicionales, como los modelos ARIMA, en las que se calcula un modelo para cada una de las series temporales disponibles, termina por no ser escalable (Supongamos una organización con 10 mil productos, necesitaría iterar para crear 10 mil modelos y eso sin tener en cuenta hyperparameter tuning). Esta estrategia iterativa puede convertirse en una auténtica pesadilla a medida que las organizaciones crecen al no ser escalable.
¿Cuál es la alternativa propuesta por Modeltime?
La alternativa propuesta por Modeltime es utilizar datos en panel y modelos globales. ¿Qué significan estos conceptos? Los datos en panel son básicamente un dataset que contiene varias series temporales apiladas una encima de la otra. En la siguiente imagen puede verse un ejemplo:
Un modelo global es un modelo único que pronostica todas las series temporales a la vez. Los modelos globales son altamente escalables. Un ejemplo es un modelo XGBoost, que puede determinar las relaciones para todos los 1000 paneles de series temporales con un solo modelo. Veamos un ejemplo:
Caso de Uso: Predicción 🔮 de la Generación Eléctrica 💡 por Sectores de la Generalitat de Catalunya
⚠️ Advertencia️ ⚠️: El objetivo de este post no es alcanzar los mejores resultados posibles, pues ello requeriría de una dedicación considerable en tareas como Feature Engineering. Lo que se pretende es mostrar una metodología de trabajo a la hora de utilizar el paquete Modeltime para modelos globales.
Para este post vamos a utilizar el dataset que se encuentra en la página https://datos.gob.es/ subido por la Generalitat de catalunya en el que se mide la generación eléctrica (GWh) en el período 2005-2020 y cuyo análisis se realizará para diferentes sectores de la economía.
En primer lugar, vamos a cargar los paquetes 📦 necesarios y a leer los datos:
El siguiente paso es limpiar los datos. Para ello seleccionamos aquellas columnas que nos interesan y transformamos el campo fecha para adaptarlo al formato que nos interesa para modelar.
Si te fijas, nuestro dataset aún no está en el formato adecuado para ser utilizado por un modelo global, necesitamos poner cada serie temporal una encima de otra (panel data). Vamos a ello:
El siguiente paso será visualizar nuestras series temporales a través de la función plot_time_series(). Utilizaremos también la función plot_anomaly_diagnostics() para visualizar los outliers detectados por esta función en cada serie. Para la visualización haremos uso de la funcionalidad automagic_tabs2 para poder visualizar cada serie temporal en una tab diferente de manera cómoda.
Vamos a diseñar una función que añada una variable flag por cada columna indicando si el registro es un outlier o no (básicamente transformaremos el gráfico anterior a información numérica que el modelo global pueda entender). La idea es crear dos recipientes de preprocesamiento, uno con las features de outliers y otro sin estas features y ver con qué recipe el modelo global obtiene mejores resultados:
Una vez que tenemos el dataset en el formato que nos interesa, el siguiente paso es continuar con la modelización.
Generación del Split 📊
Nuestro objetivo será predecir los próximos seis meses de generación eléctrica para cada una de las categorías (id) que tenemos en nuestro dataset. Para ello, vamos a seguir una estrategia de split en la que tendremos nuestro conjunto de entrenamiento y nuestro conjunto de test (será sobre este último sobre el que modeltime realice las calibraciones y a partir de los cuales pueda calcular los intervalos de confianza, por ejemplo).
En primer lugar, vamos a buscar un modelo baseline de partida que será nuestro modelo a batir. Modeltime nos provee de los modelos window_reg y naive_reg precisamente con este propósito. El primer método permite calcular una función en una ventana determinada (esta función suele ser típicamente la media, la moda o alguna media pesada, aunque el sistema es lo suficientemente flexible que permite introducir la función que el usuario desee). El segundo método utiliza la última observación como si fuese el siguiente valor en la serie, aunque también está disponible la versión estacional de este mismo método. Modeltime también integra el paquete workflowsets desarrollado por el equipo de Tidymodels a través de la función modeltime_fit_workflowset(). La idea principal aquí es combinar muchos recipientes de preprocesamiento con diferentes modelos para evaluarlos en un único objeto de una manera integrada. Esto será lo que haremos para tratar de buscar nuestro mejor modelo baseline posible. En primer lugar, vamos a definir cuatro recipientes de preprocesamiento:
recipe_basic <- recipe(value ~ date + id, data = training(splits))
recipe_basic_features <- recipe(value ~ id + date, data = training(splits)) %>%
step_timeseries_signature(date) %>%
step_rm(matches("(xts$)|(iso$)|(^.pm)")) %>%
step_zv(all_predictors()) %>%
step_dummy(all_nominal_predictors())
recipe_outliers <- recipe(value ~ ., data = training(splits))
recipe_outliers_features <- recipe(value ~ ., data = training(splits)) %>%
step_timeseries_signature(date) %>%
step_rm(matches("(xts$)|(iso$)|(^.pm)")) %>%
step_zv(all_predictors()) %>%
step_dummy(all_nominal_predictors())
A continuación, generamos diferentes especificaciones de modelos variando los argumentos que deseemos. En el caso de los modelos baseline, variaremos la longitud de la ventana para el algoritmo window_reg y el periodo estacional para el algoritmo naive_reg. Esto nos permitirá generar múltiples especificaciones que se combinarán posteriormente con los recipes de preprocesamiento generando todas las posibles combinaciones de preprocesamiento + modelo. Para generar las especificaciones variando el argumento, utilizaremos la función implementanda en modeltimecreate_model_grid():
Una vez tenemos nuestros modelos, el siguiente paso es cruzarlos con los dos recipes de preprocesamiento para crear el objeto de workflowsets (no utilizamos los otros dos porque tendríamos que modificar el código porque fallaría al haber convertido los id en variables dummy). A continuación se calculan los modelos a través de la función modeltime_fit_workflowsets() (nueva funcionalidad que permite integrar el paquete Modeltime y Workflowsets). Lo haremos en paralelo para que el resultado tarde menos en ejecutar utilizando seis núcleos:
A continuación, vamos a seleccionar el mejor modelo para cada uno de los sectores de la economía en base a la métrica rmse. Fíjate que estamos obteniendo las métricas localmente gracias al argumento acc_by_id = TRUE de la función modeltime_accuracy(). Esto nos permitirá obtener las métricas para cada serie temporal dentro de cada modelo entrenado. Fíjate que para que esta opción funcione correctamente es necesario pasar anteriormente en la función modeltime_calibrate() el argumento id = "id". Esta funcionalidad ha sido introducida por Matt Dancho en la última versión de Modeltime (0.7.0):
Fíjate que también podemos calcular las métricas de forma global (una por cada modelo) que es lo que estaba disponible hasta esta última versión en Modeltime. Veamos como podríamos hacerlo:
Vamos a cruzar contra la tabla que habíamos generado con los modelos calculados para quedarnos simplemente con los que nos interesan y generar así un objeto modeltime_table reducido. Fíjate que en el objeto data_forecasted vamos a tener las predicciones de los 13 modelos para todas y cada una de las series temporales, por lo que tendremos que filtrar para cada modelo la predicción que nos interese en base a la tabla anterior (de lo contrario, para cada serie temporal se pintarían las predicciones de todos los modelos disponibles):
A continuación vamos a pintar las predicciones de cada modelo con sus intervalos de confianza. Para ello, crearemos una función específica que se encarge de esta tarea (podríamos usar la función plot_modeltime_forecast(), pero al tener tantas series, no es del todo adecuada para la visualización en este reporte y además queremos utilizar las automagic_tabs para generar una tab por cada serie):
Modelos Globales: XGBoost y Prophet + Catboost ⚙️📊
Una vez que tenemos los modelos baseline, es hora de pasar a la acción y tratar de batirlos. En este post trataremos de hacerlo utilizando los algoritmos XGBoost y el modelo Prophet + Catboost del paquete boostime. Vamos a comenzar por buscar los mejores parámetros para el algoritmo XGBoost. En este caso, no utilizaremos la funcionalidad de worfklowsets de combinar múltiples pasos de preprocesamiento, si no que crearemos un workflow que consistirá en un recipiente y un modelo y buscaremos directamente sus mejores hiperparámetros(esto nos ahorrará bastante tiempo de cómputo en este ejemplo y veremos otra forma de proceder). También cabe resaltar el hecho de que las resamples que se calculan para el modelo XGBoost y el modelo Prophet+Catboost se hacen de manera diferente. La explicación es que el último es un modelo secuencial mientras que el primero no tiene esta característica.
A continuación realizamos lo mismo para Prophet + Catboost. En primer lugar generamos los resamples que necesitaremos para buscar los mejores hiperparámetros. Aunque los datos se vean algo caóticos, esto es porque están todas las series contenidas, lo importante es ver donde empiezan y terminan los subsets de training y testing en cada una de las particiones. Si quieres ver los datos de cada una de las series en cada una de las particiones, puedes consultar este post donde sí lo realizamos.
Ahora generamos el recipe y la especificación del modelo Prophet + Catboost a través del paquete boostime. Utilizaremos un modelo multiplicativo porque alguna de las series que nos hemos encontrado tiene este comportamiento por lo que es posible que este modelo se comporte mejor. Finalmente, vamos a utilizar la función tune_grid() para lanzar las posibles configuraciones sobre los resamples y ver cuáles son los valores óptimos para los parámetros. La función tune_grid utilizará por defecto las métricas RMSE y RSQ para estimar el error, pero esto puede cambiarse utilizando yardstick::metric_set(), pero de este tema hablaremos en otro post. Como este proceso puede ser algo pesado, activaremos la opción de computación en paralelo a través de la función control_grid() con el argumento “allow_par = TRUE”. Si quieres aprender más sobre esta funcionalidad, puedes leer este artículo que he escrito con Matt Dancho sobre el tema.
A continuación mostramos las métricas de cada modelo global desglosadas por serie temporal. Como mencionamos anteriormente, esta es una nueva adición de la ultima versión de Modeltime y para lograrlo es necesario incluir el argumento id en la función modeltime_calibrate() y posteriormente pasar el argumento acc_by_id = TRUE en la función modeltime_accuracy():
Finalmente, vamos a ver cuáles son los mejores modelos para cada una de las series temporales para así poder ver si estos son mejores que los modelos baseline que habíamos seleccionado en un principio:
Se puede ver claramente que los modelos baseline consiguen mejores métricas que estos segundos modelos que hemos entrenado. Aunque pueda parecer sorprendente, realmente los modelos simples pueden dar resultados aceptables cuando se tunean los parámetros (incluso superiores a modelos a priori más complejos). Además, como dijimos al inicio del post, una búsqueda de mejores variables (feature engineering) podría mejorar los resultados de los modelos XGBoost y Prophet + Catboost.
